Theo cách hiểu thông thường, cá voi xám được xem là loài duy nhất còn sinh tồn trong chi và họ của nó.[8] Phân tích DNA gần đây chỉ ra các loài trong họ Balaenopteridae, như cá voi lưng gù (Megaptera novaeangliae và cá voi vây (Balaenoptera physalus), có quan hệ gần gũi hơn với cá voi xám hơn là các loài khác trong họ Balaenopteridae như cá voi Minke.[9][10] John Edward Gray đã xếp nó vào chi Eschrichtius năm 1865, và đặt tên chi này theo tên của nhà động vật học Daniel Eschricht.[11] Tên gọi phổ biến của nó xuất phát từ màu xám của nó. Các mẫu bán hóa thạch của loài cá voi xám đã tuyệt chủng được Gray thu thập từ các bờ biển Đại Tây Dương thuộc Anh và Thụy Điển, theo đó ông Gray đã miêu tả khoa học loài này đầu tiên mà sau này chỉ tìm thấy được loài còn sinh tồn sống trong các vùng nước thuộc Thái Bình Dương.[12] Các loài đang sinh sống trong Thái Bình Dương đã được Cope miêu tả và đặt tên là Rhachianectes glaucus năm 1869.[13] So sánh khung xương cho thấy các loài ở Thái Bình Dương giống hệt các hóa thạch ở Đại Tây Dương trong thập niên 1930, và cách đặt tên của Gray sau đó đã được công nhận.[14][15] Mặc dù sự giống nhau giữa các cá thể trong Thái Bình Dương và Đại Tây Dương không thể được chứng minh bằng các dữ liệu giải phẫu, khung xương của nó có nét đặc trưng và dễ dàng phân biệt với tất cả các cá thể cá voi còn sống khác.[16]

Có nhiều tên gọi đã được sử dụng để chỉ cá voi xám, bao gồm cá voi sa mạc,[17] cá voi lưng xám, devil fish, mussel digger và rip sack.[18] Tên khoa học Eschrichtius gibbosus đôi khi cũng có một số tài liệu sử dụng; tên gọi này đã được chấp nhận theo miêu tả của Erxleben năm 1777.[19]